﻿import numpy as np
import os

import matplotlib
import matplotlib.pyplot as plt
plt.rcParams['axes.labelsize'] = 14
plt.rcParams['xtick.labelsize'] = 12
plt.rcParams['ytick.labelsize'] = 12
import warnings
warnings.filterwarnings('ignore')
np.random.seed(42)

from sklearn import datasets
iris = datasets.load_iris() # 加载鸢尾花数据集
print(list(iris.keys()))
# print(iris.DESCR)

X = iris['data'][:, (2, 3)] # 选取第二、三两个特征
y = iris['target']

from sklearn.linear_model import LogisticRegression
softmax_reg = LogisticRegression(multi_class='multinomial', solver='lbfgs', C=10) # 多分类，交叉熵求解算法lbfgs
softmax_reg.fit(X, y)

# print(softmax_reg.predict([[5, 2]])) # [2] 第三个类别
# print(softmax_reg.predict_proba([[5, 2]])) # [[6.38014896e-07 5.74929995e-02 9.42506362e-01]] 概率

# 构建二维坐标系
x0, x1 = np.meshgrid(
    np.linspace(0, 8, 500).reshape(-1, 1),
    np.linspace(0, 3.5, 200).reshape(-1, 1),
)
X_new = np.c_[x0.ravel(), x1.ravel()]
# print(X_new)

y_proba = softmax_reg.predict_proba(X_new)
y_predict = softmax_reg.predict(X_new)
# print(y_proba)
# print(y_predict)

plt.figure(figsize=(10, 4))
# 原始数据
plt.plot(X[y==2, 0], X[y==2, 1], "g^", label="Iris-Virginica")
plt.plot(X[y==1, 0], X[y==1, 1], "bs", label="Iris-Versicolor")
plt.plot(X[y==0, 0], X[y==0, 1], "yo", label="Iris-Setosa")
# 等高线
from matplotlib.colors import ListedColormap
custom_cmap = ListedColormap(['#fafab0','#9898ff','#a0faa0'])
zz = y_predict.reshape(x0.shape)
plt.contourf(x0, x1, zz, cmap=custom_cmap) # 类别分界线（明确分界线）
zz1 = y_proba[:, 1].reshape(x0.shape)
contour = plt.contour(x0, x1, zz1, cmap=plt.cm.brg) # 类别等高线（概率）
plt.clabel(contour, inline=1, fontsize=12)
plt.xlabel("Petal length", fontsize=14)
plt.ylabel("Petal width", fontsize=14)
plt.legend(loc="center left", fontsize=14)
plt.axis([0, 7, 0, 3.5])
plt.show()


'''
softmax：
计算每类概率：使用e^x将分数差异拉大，然后归一化计算概率值

损失函数（交叉熵）：
使用-log(p)：概率越接近1，损失函数越小；概率越接近0，损失函数越大
'''